import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
# Ορισμός θέματος
sns.set_theme(style = "whitegrid")
# Εισαγωγή του συνόλου δεδομένων titanic
titanic = pd.read_csv("https://raw.githubusercontent.com/Datakortex/Datasets/refs/heads/main/titanic.csv")
# Εμφάνιση των πρώτων γραμμών
titanic.head()Ανάλυση δεδομένων μέσω της οπτικοποίησης δεδομένων
Εισαγωγή
Σε αυτό το κεφάλαιο, επανερχόμαστε στο σύνολο δεδομένων titanic, το οποίο χρησιμοποιήσαμε προηγουμένως για να εξασκηθούμε στη δημιουργία διαγραμμάτων από την αρχή. Αυτή τη φορά, η εστίασή μας μετατοπίζεται από τη δημιουργία οπτικοποιήσεων στη χρήση τους ως εργαλείων ανάλυσης. Μέσα από την περίπτωση του Titanic, στόχος μας είναι να εξερευνήσουμε πώς οι οπτικοποιήσεις δεδομένων μπορούν να μας βοηθήσουν να κατανοήσουμε καλύτερα τη δομή ενός συνόλου δεδομένων (και ενός προβλήματος), να εντοπίσουμε διαφορές μεταξύ ομάδων, να παρατηρήσουμε τάσεις και να αποκαλύψουμε ουσιαστικά μοτίβα.
Στόχος μας είναι να δούμε, στην πράξη, πώς η οπτικοποίηση δεδομένων υποστηρίζει τη διαδικασία της ανάλυσης δεδομένων, όχι μόνο για την παρουσίαση, αλλά ως αναπόσπαστο μέρος της διερευνητικής ανάλυσης. Εξετάζοντας οπτικά τα δεδομένα από πολλές οπτικές γωνίες, μπορούμε να σχηματίσουμε εντυπώσεις βασισμένες στα δεδομένα και να αρχίσουμε να ερμηνεύουμε τι μπορεί να υποδηλώνουν, έχοντας πάντα κατά νου ότι η οπτικοποίηση είναι αφετηρία για γνώση, όχι τελική απάντηση.
Φόρτωση packages και εισαγωγή δεδομένων
Ξεκινάμε εισάγοντας το NumPy, το Pandas, το Matplotlib και το Seaborn. Επιπλέον, εισάγουμε το σύνολο δεδομένων titanic απευθείας από το GitHub και ορίζουμε το θέμα των διαγραμμάτων σε "whitegrid", για να βελτιώσουμε την αναγνωσιμότητα των οπτικοποιήσεων:
| PassengerId | Survived | Pclass | ... | Fare | Cabin | Embarked | |
|---|---|---|---|---|---|---|---|
| 0 | 1 | 0 | 3 | ... | 7.25 | NaN | S |
| 1 | 2 | 1 | 1 | ... | 71.28 | C85 | C |
| 2 | 3 | 1 | 3 | ... | 7.92 | NaN | S |
| 3 | 4 | 1 | 1 | ... | 53.10 | C123 | S |
| 4 | 5 | 0 | 3 | ... | 8.05 | NaN | S |
5 rows × 12 columns
Όπως παρουσιάστηκε στο Κεφάλαιο Οπτικοποίηση δεδομένων με το Seaborn, το σύνολο δεδομένων titanic περιέχει πληροφορίες για τους επιβάτες που βρίσκονταν στο RMS Titanic, το οποίο βυθίστηκε τραγικά στις 15 Απριλίου 1912, αφού προσέκρουσε σε παγόβουνο αργά το προηγούμενο βράδυ. Το σύνολο δεδομένων περιλαμβάνει μια σειρά από μεταβλητές που μας βοηθούν να εξερευνήσουμε διάφορες πτυχές των δημογραφικών χαρακτηριστικών και των συνθηκών ταξιδιού των επιβατών:
PassengerId: Ένα μοναδικό αναγνωριστικό για κάθε επιβάτηSurvived: Αν ο επιβάτης επέζησε (1) ή δεν επέζησε (0)Pclass: Θέση εισιτηρίου (1 = 1η, 2 = 2η, 3 = 3η)Name: Ονοματεπώνυμο του επιβάτηSex: Φύλο του επιβάτηAge: Ηλικία σε έτηSibSp: Αριθμός αδελφών ή συζύγων στο πλοίοParch: Αριθμός γονέων ή παιδιών στο πλοίοTicket: Αριθμός εισιτηρίουFare: Ναύλο που πληρώθηκε για το εισιτήριοCabin: Αριθμός καμπίναςEmbarked: Λιμάνι επιβίβασης (C = Cherbourg, Q = Queenstown, S = Southampton)
Το σύνολο δεδομένων προσφέρει ένα πλούσιο πλαίσιο για να εξερευνήσουμε πώς μπορούμε να χρησιμοποιήσουμε την οπτικοποίηση δεδομένων για να κατανοήσουμε διάφορα χαρακτηριστικά και κατανομές σε πραγματικά δεδομένα.
Προεπεξεργασία των δεδομένων
Πριν προχωρήσουμε στην οπτική εξερεύνηση, ξεκινάμε με μερικά βήματα προεπεξεργασίας για να προετοιμάσουμε το σύνολο δεδομένων titanic. Αρχικά, δημιουργούμε μια νέα μεταβλητή με το όνομα Survived_Label. Με τη συνάρτηση np.where(), η μεταβλητή αυτή παίρνει την ετικέτα "Survived" αν ο επιβάτης επέζησε (δηλαδή, Survived == 1) και "Not Survived" σε κάθε άλλη περίπτωση. Αυτός ο μετασχηματισμός κάνει τα δεδομένα πιο κατανοητά και πιο εύκολα στην ερμηνεία τους στα διαγράμματα.
# Δημιουργία του Survived_Label
titanic["Survived_Label"] = np.where(
titanic["Survived"] == 1,
"Survived",
"Not Survived"
)Διερευνητική ανάλυση δεδομένων και οπτικοποίηση δεδομένων
Μέχρι τώρα, έχουμε προετοιμάσει το περιβάλλον της Python, έχουμε εισαγάγει το σύνολο δεδομένων μας και έχουμε εκτελέσει τα απαραίτητα βήματα προεπεξεργασίας. Πώς όμως ξεκινάμε στην πράξη την ανάλυση ενός συνόλου δεδομένων; Μπορεί να δημιουργήσουμε κάποια διαγράμματα ή να υπολογίσουμε συνοπτικά στατιστικά μέτρα—αλλά από πού ξεκινάμε και τι πρέπει να αναζητήσουμε; Όπως αποδεικνύεται, δεν υπάρχει καθολική απάντηση σε αυτό το ερώτημα.
Στόχος μας στην ανάλυση δεδομένων είναι να κατανοήσουμε τα δεδομένα που έχουμε. Η διαδικασία αυτή ξεκινά με το να θέτουμε ουσιαστικά ερωτήματα και στη συνέχεια να χρησιμοποιούμε τα δεδομένα για να τα απαντήσουμε. Από εκεί, εμβαθύνουμε στα δεδομένα για να εξερευνήσουμε μοτίβα και να αντλήσουμε γνώσεις. Ωστόσο, η διαδικασία αυτή σπάνια είναι γραμμική. Τα ίδια τα ερωτήματα δεν είναι πάντα προφανή, ιδίως σε επιχειρηματικά περιβάλλοντα, όπου το να βρούμε ποια ερωτήματα πρέπει να θέσουμε μπορεί να είναι από τα πιο δύσκολα κομμάτια της δουλειάς. Στην πραγματικότητα, ένα ερώτημα που απαντήθηκε συχνά οδηγεί σε αρκετά νέα. Αυτή η διαδικασία πήγαινε-έλα βρίσκεται στον πυρήνα αυτού που κάνει τη Διερευνητική Ανάλυση Δεδομένων (Exploratory Data Analysis, EDA) τόσο σημαντική.
Υπό αυτή την έννοια, η εργασία με δεδομένα μοιάζει συχνά περισσότερο με τη δουλειά ενός ντετέκτιβ παρά ενός στατιστικολόγου. Πριν εκτελέσουμε οποιουσδήποτε τυπικούς ελέγχους ή μοντέλα, πρέπει να ερευνήσουμε τα δεδομένα για να αποκαλύψουμε μοτίβα, ανωμαλίες ή ενδείξεις που καθοδηγούν την κατανόησή μας. Ο John Tukey, πρωτοπόρος της EDA, τόνισε αυτή την ιδέα όταν είπε: «Η μεγαλύτερη αξία μιας εικόνας είναι όταν μας αναγκάζει να προσέξουμε αυτό που ποτέ δεν περιμέναμε να δούμε» (Tukey, 1977). Η οπτικοποίηση των δεδομένων μάς επιτρέπει να εντοπίσουμε τάσεις και εκπλήξεις που οι σκέτοι αριθμοί μπορεί να κρύβουν. Μας βοηθά όχι μόνο να κατανοήσουμε τα δεδομένα μας σε μεγαλύτερο βάθος, αλλά και να επικοινωνήσουμε τα ευρήματά μας με μεγαλύτερη σαφήνεια και πειστικότητα.
Ο Hadley Wickham, κορυφαία μορφή της σύγχρονης επιστήμης δεδομένων, συμμερίζεται αυτή την άποψη: «Η EDA δεν είναι μια τυπική διαδικασία με αυστηρό σύνολο κανόνων. Πάνω απ’ όλα, η EDA είναι ένας τρόπος σκέψης» (Wickham, Çetinkaya-Rundel, & Grolemund, 2023). Αντί να προσπαθούμε να επιβεβαιώσουμε μια θεωρία από την αρχή, εξερευνούμε τα δεδομένα για να σχηματίσουμε νέες ιδέες που αξίζει να ελεγχθούν αργότερα. Όπως ακριβώς ένας ντετέκτιβ ακολουθεί στοιχεία και βελτιώνει τις θεωρίες του με βάση τα τεκμήρια, έτσι και ένας αναλυτής δεδομένων χρησιμοποιεί οπτικοποιήσεις και συνόψεις για να βγάλει νόημα από σύνθετη πληροφορία.
Τελικά, η EDA είναι μια δημιουργική, επαναληπτική διαδικασία που καθοδηγείται από ερωτήματα, η οποία ζωντανεύει τα δεδομένα και μας προετοιμάζει για βαθύτερη στατιστική διερεύνηση. Εδώ η οπτικοποίηση δεδομένων γίνεται ένα από τα πιο ισχυρά εργαλεία μας. Οι οπτικοποιήσεις μάς επιτρέπουν να «δούμε» τη δομή των δεδομένων—τις κατανομές τους, τις σχέσεις τους και τα outliers—αποκαλύπτοντας συχνά γνώσεις που θα ήταν δύσκολο να εντοπιστούν μόνο μέσα από πίνακες ή συνοπτικά στατιστικά μέτρα.
Μέσα από την οπτική εξερεύνηση, μπορούμε να θέσουμε καλύτερα ερωτήματα: Υπάρχουν ασυνήθιστες αιχμές στις πωλήσεις; Συμπεριφέρονται διαφορετικά ορισμένες ομάδες πελατών; Κρύβεται κάποια τάση πίσω από την εποχική διακύμανση; Κάθε οπτικοποίηση λειτουργεί σαν προβολέας, φωτίζοντας διαφορετικά μέρη του συνόλου δεδομένων και βοηθώντας μας να αποφασίσουμε πού θα κοιτάξουμε στη συνέχεια.
Επιπλέον, η οπτικοποίηση δεδομένων δεν μας βοηθά μόνο να κατανοήσουμε τα δεδομένα—μας βοηθά να αφηγηθούμε την ιστορία τους. Ένα καλοσχεδιασμένο διάγραμμα μπορεί να επικοινωνήσει τα ευρήματα πιο αποτελεσματικά από αρκετές παραγράφους επεξήγησης. Είτε πρόκειται για ένα διάγραμμα διασποράς που δείχνει μια σαφή σχέση, είτε για ένα ραβδόγραμμα που συγκρίνει κατηγορίες, είτε για μια χρονοσειρά που αποκαλύπτει τάσεις, οι οπτικοποιήσεις μετατρέπουν τους σκέτους αριθμούς σε κάτι που είναι ταυτόχρονα ερμηνεύσιμο και πειστικό.
Ανάλυση του συνόλου δεδομένων Titanic
Για να συνεχίσουμε τη μελέτη περίπτωσης του Titanic, ξεκινάμε με το πιο βασικό ερώτημα: Πόσοι επιβάτες επέζησαν και πόσοι όχι;
Μπορούμε να απαντήσουμε σε αυτό το ερώτημα δημιουργώντας ένα count plot με τη μεταβλητή Survived_Label που δημιουργήσαμε νωρίτερα. Επειδή πρόκειται για κατηγορική μεταβλητή, αρκεί να την ορίσουμε στον άξονα x στη sns.countplot():
# Δημιουργία ενός βασικού count plot με τον αριθμό όσων επέζησαν και όσων δεν επέζησαν
sns.countplot(
data = titanic,
x = "Survived_Label"
)
# Εμφάνιση του διαγράμματος
plt.show()
Αυτό το count plot δείχνει ότι οι περισσότεροι επιβάτες στο σύνολο δεδομένων δεν επέζησαν. Οπτικά, μπορούμε να εκτιμήσουμε ότι περισσότεροι από 500 επιβάτες έχασαν τη ζωή τους, ενώ περίπου 350 επέζησαν.
Μπορούμε να βελτιώσουμε αυτό το διάγραμμα ώστε να είναι πιο ελκυστικό οπτικά και πιο εύκολο στην ερμηνεία. Συγκεκριμένα, μπορούμε να:
Αλλάξουμε το χρώμα των ράβδων σε
"skyblue"Αφαιρέσουμε τον τίτλο του άξονα x (αφού τα ονόματα των κατηγοριών είναι αυτονόητα)
Μετονομάσουμε τον άξονα y σε «Number of Passengers»
Χρησιμοποιούμε το όρισμα color στη sns.countplot() για να αλλάξουμε το χρώμα και τις συναρτήσεις plt.xlabel() και plt.ylabel() για να αλλάξουμε τις ετικέτες των αξόνων:
# Δημιουργία ενός βελτιωμένου count plot με τον αριθμό όσων επέζησαν και όσων δεν επέζησαν
sns.countplot(
data = titanic,
x = "Survived_Label",
color = "skyblue"
)
# Προσαρμογή των τίτλων των αξόνων
plt.xlabel("")
plt.ylabel("Number of Passengers")
# Εμφάνιση του διαγράμματος
plt.show()
Στη συνέχεια, ρωτάμε: Πώς διαφέρει η αναλογία επιζώντων ανάλογα με το φύλο;
Θα περιμέναμε υψηλότερη αναλογία επιζώντων στις γυναίκες, καθώς, ιστορικά, στις γυναίκες και στα παιδιά δίνεται συχνά προτεραιότητα σε καταστάσεις εκκένωσης.
Για να το εξερευνήσουμε, χρησιμοποιούμε ένα bar plot. Επειδή η μεταβλητή Survived είναι δυαδική (0 για όσους δεν επέζησαν, 1 για όσους επέζησαν), το mean της είναι η αναλογία επιζώντων, οπότε μπορούμε να τη χρησιμοποιήσουμε για να υπολογίσουμε την αναλογία επιζώντων ανά φύλο.
Για να το κάνουμε αυτό, χρησιμοποιούμε τη συνάρτηση sns.barplot() και ορίζουμε τα ορίσματα estimator και errorbar σε "mean" και None, αντίστοιχα:
# Διάγραμμα της αναλογίας επιζώντων ανά φύλο
sns.barplot(
data = titanic,
x = "Sex",
y = "Survived",
estimator = "mean",
errorbar = None
)
# Εμφάνιση του διαγράμματος
plt.show()
Σε αυτό το στάδιο, το διάγραμμα εμφανίζει την αναλογία επιζώντων ως δεκαδικούς αριθμούς (π.χ. 0.75 για 75%). Για να εκφράσουμε αυτές τις τιμές ως ποσοστά, χρησιμοποιούμε την κλάση PercentFormatter() του module matplotlib.ticker και την εφαρμόζουμε στον άξονα y με τη μέθοδο set_major_formatter(), αποκτώντας πρόσβαση στο object του άξονα. Σημειώστε ότι πρώτα αποθηκεύουμε το διάγραμμα σε ένα object με το όνομα plot_prop_surv (ένα όνομα της επιλογής μας):
import matplotlib.ticker as mtick
# Διάγραμμα της αναλογίας επιζώντων ανά φύλο
plot_prop_surv = sns.barplot(
data = titanic,
x = "Sex",
y = "Survived",
estimator = "mean",
errorbar = None
)
# Εφαρμογή μορφοποίησης ποσοστού στον άξονα y
plot_prop_surv.yaxis.set_major_formatter(mtick.PercentFormatter(1.0))
# Προσαρμογή των τίτλων των αξόνων
plt.xlabel("")
plt.ylabel("Proportion of Survivors")
# Εμφάνιση του διαγράμματος
plt.show()
Αυτό το τελικό διάγραμμα δείχνει ότι περίπου το 74% των γυναικών επέζησε, σε σύγκριση με μόλις το 19% των ανδρών. Αυτή η έντονη αντίθεση αναδεικνύει ένα σαφές μοτίβο στα δεδομένα και μας δίνει μια ισχυρή οπτική εικόνα της επίδρασης του φύλου στην επιβίωση.
Η μεταβλητή Sex μας λέει αν ένας επιβάτης ήταν άνδρας ή γυναίκα, αλλά δεν μας δίνει καμία πληροφορία για την ηλικιακή του κατηγορία—αν ήταν παιδί, έφηβος, ενήλικας ή ηλικιωμένος.
Έτσι, ένα φυσικό επόμενο ερώτημα είναι: Πώς μεταβάλλεται η αναλογία επιζώντων ανάλογα με το φύλο και την ηλικιακή ομάδα μαζί;
Για παράδειγμα, θα περιμέναμε τα αγόρια και τα κορίτσια να έχουν παρόμοια (και σχετικά υψηλή) αναλογία επιζώντων, αφού στα παιδιά δίνεται συχνά προτεραιότητα κατά την εκκένωση. Αντίθετα, θα περιμέναμε οι ενήλικες άνδρες να έχουν τη χαμηλότερη αναλογία επιζώντων.
Για να το εξερευνήσουμε, επεκτείνουμε την προηγούμενη ανάλυσή μας. Αρχικά, χρησιμοποιούμε τη μέθοδο case_when() για να δημιουργήσουμε μια νέα μεταβλητή, την Category, με βάση τη μεταβλητή Age. Ορίζουμε πέντε ηλικιακές ομάδες:
0–12: Child (παιδί)
13–17: Teenager (έφηβος)
18–64: Adult (ενήλικας)
65+: Elder (ηλικιωμένος)
NA: Missing (ελλείπουσα τιμή)
Η κατηγορία "Missing" χρησιμοποιείται για τους επιβάτες των οποίων η ηλικία δεν είναι διαθέσιμη στο σύνολο δεδομένων. Στο Pandas, οι ελλείπουσες τιμές αναπαρίστανται συνήθως ως NaN (Not a Number), που δείχνει ότι η τιμή είναι άγνωστη ή δεν έχει καταγραφεί. Η δημιουργία μιας ρητής κατηγορίας για αυτές τις παρατηρήσεις μάς επιτρέπει να τις κρατήσουμε στην ανάλυση αντί να εξαιρεθούν αυτόματα.
Δεν υπάρχει καθολικός κανόνας για αυτές τις συγκεκριμένες ηλικιακές ομάδες· τέτοιες επιλογές είναι τελικά υποκειμενικές. Μπορούμε τώρα να υπολογίσουμε την αναλογία επιζώντων για κάθε συνδυασμό φύλου και κατηγορίας με το Pandas. Αυτό γίνεται ομαδοποιώντας τα δεδομένα και υπολογίζοντας το mean της μεταβλητής Survived, το οποίο αντιπροσωπεύει το μερίδιο των επιβατών που επέζησαν σε κάθε ομάδα. Το όρισμα observed = True έχει σημασία όταν οι μεταβλητές ομαδοποίησης έχουν τον τύπο δεδομένων category. Εξασφαλίζει ότι στο αποτέλεσμα περιλαμβάνονται μόνο οι συνδυασμοί κατηγοριών που παρατηρούνται. Με άλλα λόγια, το Pandas θα εξαιρέσει όσους συνδυασμούς κατηγοριών δεν εμφανίζονται στα δεδομένα, κάνοντας το αποτέλεσμα πιο καθαρό και πιο αποδοτικό. Εδώ, οι Sex και Category είναι απλά strings, οπότε εμφανίζονται ούτως ή άλλως μόνο οι συνδυασμοί που παρατηρούνται, αλλά το να ορίσουμε ρητά το όρισμα δεν βλάπτει.
# Δημιουργία της μεταβλητής Category
titanic["Category"] = titanic["Age"].case_when([
(titanic["Age"] <= 12, "Child"),
(titanic["Age"] <= 17, "Teenager"),
(titanic["Age"] <= 64, "Adult"),
(titanic["Age"] > 64 , "Elder"),
(titanic["Age"].isna(), "Missing")
])
# Υπολογισμός της αναλογίας επιζώντων ανά φύλο και ηλικιακή κατηγορία
titanic_summary = titanic.groupby(["Sex", "Category"], observed = True)[["Survived"]].mean().reset_index()Μπορούμε τώρα να χρησιμοποιήσουμε τη sns.catplot() για να οπτικοποιήσουμε αυτές τις αναλογίες. Επειδή σχεδιάζουμε ένα συνοπτικό στατιστικό μέτρο (το mean μιας δυαδικής μεταβλητής), ένα bar plot είναι κατάλληλο. Σημειώστε ότι, σε αυτή την περίπτωση, αποθηκεύουμε το διάγραμμα στη μεταβλητή plot_prop_surv_2. Αυτό είναι απαραίτητο επειδή η sns.catplot() επιστρέφει ένα FacetGrid object, το οποίο μας επιτρέπει να τροποποιήσουμε περαιτέρω το διάγραμμα αφού δημιουργηθεί. Συγκεκριμένα, η αποθήκευση του διαγράμματος μάς επιτρέπει να εφαρμόσουμε πρόσθετες προσαρμογές στους άξονες, όπως τη μορφοποίηση των τιμών του άξονα y. Επιπλέον, επειδή δουλεύουμε με ένα FacetGrid και όχι με ένα μεμονωμένο διάγραμμα, οι ετικέτες των αξόνων ορίζονται επίσης διαφορετικά. Αντί για τις plt.xlabel() και plt.ylabel(), χρησιμοποιούμε τώρα τη μέθοδο set_axis_labels(), η οποία εφαρμόζει τις ετικέτες με συνέπεια σε όλα τα υποδιαγράμματα του πλέγματος. Τέλος, ορίζουμε col_wrap = 3 για να κατανείμουμε τα facets σε περισσότερες γραμμές, αλλάζοντας γραμμή μετά από κάθε τρία πλαίσια.
# Δημιουργία bar plot της αναλογίας επιζώντων ανά φύλο και ηλικιακή κατηγορία
plot_prop_surv_2 = sns.catplot(
data = titanic_summary,
x = "Sex",
y = "Survived",
col = "Category",
kind = "bar",
color = "skyblue",
col_wrap = 3,
col_order = ["Child", "Teenager", "Adult", "Elder", "Missing"]
)
# Εφαρμογή μορφοποίησης ποσοστού σε όλους τους άξονες του πλέγματος
for ax in plot_prop_surv_2.axes.flat:
ax.yaxis.set_major_formatter(mtick.PercentFormatter(1.0))
# Προσαρμογή των τίτλων των αξόνων
plot_prop_surv_2.set_axis_labels("", "Proportion of Survivors")
# Εμφάνιση του διαγράμματος
plt.show()
Όπως αναμενόταν, η αναλογία επιζώντων στα παιδιά είναι υψηλή και περίπου ίδια για αγόρια και κορίτσια. Επίσης, όλοι οι ηλικιωμένοι επιβάτες ήταν άνδρες, και μόνο περίπου το 10% από αυτούς επέζησε. Ωστόσο, παρατηρούμε επίσης ότι οι έφηβες έχουν αισθητά υψηλότερη αναλογία επιζώντων από τους εφήβους, όπως ακριβώς και οι ενήλικες γυναίκες. Ένα παρόμοιο μοτίβο παρατηρείται και στους επιβάτες χωρίς πληροφορία για την ηλικία, όπου οι γυναίκες εμφανίζουν επίσης σημαντικά υψηλότερη αναλογία επιζώντων από τους άνδρες. Σημαίνει αυτό ότι και οι γυναίκες σε αυτές τις ομάδες είχαν μεγαλύτερη προτεραιότητα από τους άνδρες; Είναι πιθανό. Πριν όμως καταλήξουμε σε ασφαλή συμπεράσματα, πρέπει να λάβουμε υπόψη τον αριθμό των επιβατών σε κάθε ομάδα. Αν μια ομάδα έχει λίγα μόνο άτομα, ένας μόνο επιζών μπορεί να επηρεάσει δυσανάλογα την αναλογία επιζώντων.
Για να το διερευνήσουμε, δημιουργούμε ένα δεύτερο διάγραμμα που δείχνει τον αριθμό των επιβατών (και όχι την αναλογία επιζώντων), ομαδοποιημένο ανά φύλο και ηλικιακή κατηγορία:
# Δημιουργία count plot με facets για τον αριθμό των επιβατών
plot_prop_surv_3 = sns.catplot(
data = titanic,
x = "Sex",
col = "Category",
kind = "count",
col_wrap = 3,
color = "skyblue",
col_order = ["Child", "Teenager", "Adult", "Elder", "Missing"]
)
# Προσαρμογή των τίτλων των αξόνων
plot_prop_surv_3.set_axis_labels("", "Number of Passengers")
# Προσαρμογή του μεγέθους του διαγράμματος
plot_prop_surv_3.figure.set_size_inches(10, 6)
# Εμφάνιση του διαγράμματος
plt.show()
Αυτό το διάγραμμα δείχνει ότι:
Ο αριθμός των εφήβων αγοριών και κοριτσιών είναι περίπου ίδιος
Η συντριπτική πλειονότητα των επιβατών ήταν ενήλικες
Στην ομάδα με ελλείπουσα ηλικία, ο αριθμός των ανδρών είναι αισθητά μεγαλύτερος από αυτόν των γυναικών
Επομένως, με εξαίρεση τη μικρή ομάδα των ηλικιωμένων επιβατών, οι προηγούμενες αναλογίες επιζώντων δεν βασίζονται σε πολύ μικρές ομάδες. Οι διαφορές μεταξύ των φύλων στην επιβίωση ανά ηλικιακή κατηγορία είναι επομένως ουσιαστικές και υποδηλώνουν ένα συνεπές μοτίβο: στις κατηγορίες όπου υπάρχουν και άνδρες και γυναίκες επιβάτες, οι γυναίκες είχαν μεγαλύτερη πιθανότητα να επιζήσουν από τους άνδρες, με εξαίρεση τα παιδιά, όπου οι αναλογίες ήταν σχεδόν ίσες.
Το επόμενο ερώτημα είναι: ποια είναι η αναλογία επιζώντων ανά φύλο στις διάφορες θέσεις εισιτηρίου;
Για να το απαντήσουμε, χρησιμοποιούμε ένα bar plot, αφού μας ενδιαφέρει να συγκρίνουμε ένα συνοπτικό στατιστικό μέτρο (το mean μιας δυαδικής μεταβλητής) μεταξύ ομάδων. Σε αυτή την περίπτωση, το mean του Survived αντιστοιχεί άμεσα στην αναλογία των επιβατών που επέζησαν σε κάθε συνδυασμό θέσης εισιτηρίου και φύλου. Χρησιμοποιούμε το φύλο (Sex) για τη χρωματική κωδικοποίηση (color encoding) στο διάγραμμα, ώστε να διακρίνουμε οπτικά τα ποσοστά επιβίωσης ανδρών και γυναικών μέσα σε κάθε θέση.
# Διάγραμμα της αναλογίας επιζώντων ανά φύλο και θέση εισιτηρίου
plot_prop_surv_4 = sns.barplot(
data = titanic,
x = "Pclass",
y = "Survived",
hue = "Sex",
palette = {"male" : "lightblue", "female" : "lightpink"},
estimator = "mean",
errorbar = None
)
# Εφαρμογή μορφοποίησης ποσοστού στον άξονα y
plot_prop_surv_4.yaxis.set_major_formatter(mtick.PercentFormatter(1.0))
# Προσαρμογή των τίτλων των αξόνων
plt.xlabel("")
plt.ylabel("Proportion of Survivors")
# Εμφάνιση του διαγράμματος
plt.show()
Το διάγραμμα που προκύπτει δείχνει μια σαφή τάση: και στα δύο φύλα, η αναλογία επιζώντων τείνει να μειώνεται όσο χαμηλότερη είναι η θέση του εισιτηρίου (δηλαδή από την 1η προς την 3η θέση). Ωστόσο, η πτώση εμφανίζεται σε διαφορετικό σημείο για κάθε φύλο. Για τις γυναίκες, η αναλογία επιζώντων παραμένει σχετικά σταθερή μεταξύ 1ης και 2ης θέσης (περίπου 97% και 92%), με σημαντική πτώση μόνο στην 3η θέση (50%). Για τους άνδρες, υπάρχει αξιοσημείωτη μείωση από την 1η στη 2η θέση (από περίπου 37% σε 16%), και στη συνέχεια μια μικρή περαιτέρω μείωση από τη 2η στην 3η θέση (14%). Μια πιθανή εξήγηση για αυτό το μοτίβο είναι ότι στις γυναίκες επιβάτες δόθηκε γενικά προτεραιότητα στην εκκένωση ανεξάρτητα από τη θέση τους, ιδίως στην 1η και τη 2η θέση, όπου οι διαδικασίες εκκένωσης ίσως ήταν πιο οργανωμένες και πιο προσβάσιμες. Αντίθετα, οι άνδρες επιβάτες, ιδίως όσοι ταξίδευαν σε χαμηλότερες θέσεις, μπορεί να είχαν πιο περιορισμένη πρόσβαση στις σωσίβιες λέμβους λόγω της θέσης τους στο πλοίο (π.χ. καμπίνες στα κατώτερα καταστρώματα), των πρωτοκόλλων του πληρώματος ή των κοινωνικών νορμών που έδιναν προτεραιότητα στις γυναίκες και στα παιδιά. Ως αποτέλεσμα, για τους άνδρες η κύρια διαχωριστική γραμμή ήταν μεταξύ της 1ης θέσης και των άλλων δύο, ενώ για τις γυναίκες ήταν μεταξύ της 3ης θέσης και των άλλων δύο.
Αυτή η παρατήρηση μπορεί επίσης να βοηθήσει να εξηγήσουμε γιατί οι έφηβοι είχαν πολύ χαμηλότερη αναλογία επιζώντων από τις έφηβες. Λογικά, δεν θα περιμέναμε απαραίτητα οι έφηβες να έχουν μεγαλύτερη προτεραιότητα από τους εφήβους. Ωστόσο, αν η θέση και η τοποθεσία στο πλοίο έπαιξαν βασικό ρόλο στην πρόσβαση στην εκκένωση, τότε η ίδια προτεραιότητα με βάση το φύλο που βλέπουμε στους ενήλικες επιβάτες πιθανότατα επεκτάθηκε και στις υπόλοιπες ηλικιακές ομάδες, με αποτέλεσμα καλύτερη έκβαση για τις γυναίκες, ανεξάρτητα από την ηλικία.
Μπορούμε να εξερευνήσουμε αυτή την υπόθεση επεκτείνοντας τον προηγούμενο κώδικα ώστε να περιλαμβάνει τη μεταβλητή Category και χρησιμοποιώντας τη sns.catplot() αντί για τη sns.barplot():
# Διάγραμμα της αναλογίας επιζώντων ανά φύλο, ηλικιακή κατηγορία και θέση εισιτηρίου
plot_prop_surv_5 = sns.catplot(
data = titanic,
x = "Pclass",
y = "Survived",
hue = "Sex",
col = "Category",
kind = "bar",
col_wrap = 3,
col_order = ["Child", "Teenager", "Adult", "Elder", "Missing"],
palette = {"male" : "lightblue", "female" : "lightpink"},
estimator = "mean",
errorbar = None
)
# Εφαρμογή μορφοποίησης ποσοστού σε όλους τους άξονες του πλέγματος
for ax in plot_prop_surv_5.axes.flat:
ax.yaxis.set_major_formatter(mtick.PercentFormatter(1.0))
# Προσαρμογή των τίτλων των αξόνων
plot_prop_surv_5.set_axis_labels("", "Proportion of Survivors")
# Προσαρμογή του μεγέθους του διαγράμματος
plot_prop_surv_5.figure.set_size_inches(10, 6)
# Εμφάνιση του διαγράμματος
plt.show()
Η αναλογία επιζώντων στις γυναίκες ήταν υψηλότερη, ή τουλάχιστον ίση, σχεδόν σε όλες τις ομάδες. Η μόνη εξαίρεση είναι τα παιδιά της πρώτης θέσης, αλλά αυτή η ομάδα περιλαμβάνει μόνο ένα κορίτσι (που δεν επέζησε) και τρία αγόρια (που επέζησαν όλα). Παρατηρούμε επίσης ότι στη δεύτερη θέση υπήρχαν μόνο δύο έφηβοι, και κανένας δεν επέζησε, ενώ επέζησαν και οι τέσσερις έφηβες της δεύτερης θέσης. Τέτοιες μικρές υποομάδες μπορεί να εξηγούν εν μέρει την εντυπωσιακή διαφορά μεταξύ των φύλων. Ένα ακόμη αξιοσημείωτο εύρημα είναι ότι όλα τα παιδιά της δεύτερης θέσης επέζησαν, όπως και τα τρία αγόρια της πρώτης θέσης, γεγονός που ενισχύει περαιτέρω την ιδέα ότι η θέση του εισιτηρίου—και πιθανότατα η θέση της καμπίνας—είχε μεγάλη επίδραση στην επιβίωση.
Αυτό εγείρει ένα επιπλέον ερώτημα: θα μπορούσε η αναλογία επιζώντων να επηρεάζεται και από το αν οι ενήλικες ταξίδευαν μόνοι ή με την οικογένειά τους;
Είναι εύλογο ότι οι ενήλικες που ταξίδευαν μόνοι είχαν μεγαλύτερη πιθανότητα να έχουν εισιτήρια χαμηλότερης θέσης, ίσως λόγω κόστους ή προσωπικών συνθηκών, κάτι που με τη σειρά του μπορεί να επηρέασε τις πιθανότητες επιβίωσής τους. Επιπλέον, όσοι ταξίδευαν με μέλη της οικογένειάς τους ίσως έλαβαν περισσότερη προσοχή ή βοήθεια κατά την εκκένωση.
Για να απαντήσουμε σε αυτό το ερώτημα, δημιουργούμε πρώτα ένα νέο data frame που εστιάζει μόνο στους ενήλικες επιβάτες. Αυτό μας επιτρέπει να απομονώσουμε την υποομάδα που μας ενδιαφέρει και να τη χωρίσουμε περαιτέρω ανάλογα με το αν οι ενήλικες ταξίδευαν μόνοι ή με μέλη της οικογένειάς τους. Ορίζουμε μια νέα μεταβλητή, την Adult_Type, η οποία διακρίνει τους μόνους ενήλικες ("Solo Adult") από όσους ταξίδευαν ως μέρος μιας οικογένειας. Στη συνέχεια, χρησιμοποιούμε τη sns.catplot() με παρόμοιο τρόπο όπως πριν, αφού και πάλι μας ενδιαφέρει να συγκρίνουμε ένα συνοπτικό στατιστικό μέτρο (το mean μιας δυαδικής μεταβλητής) μεταξύ διαφορετικών ομάδων.
# Δημιουργία της μεταβλητής Adult_Type σε ξεχωριστό data frame
titanic_adults = titanic[titanic["Category"] == "Adult"].copy()
titanic_adults["Adult_Type"] = np.where(
(titanic_adults["SibSp"] == 0) & (titanic_adults["Parch"] == 0),
"Solo Adult",
"Family Adult"
)
# Διάγραμμα της αναλογίας επιζώντων στους ενήλικες ανά συνοδεία (μόνοι/με οικογένεια) και θέση εισιτηρίου
plot_prop_surv_6 = sns.catplot(
data = titanic_adults,
x = "Adult_Type",
y = "Survived",
col = "Pclass",
col_wrap = 3,
kind = "bar",
estimator = "mean",
errorbar = None
)
# Εφαρμογή μορφοποίησης ποσοστού σε όλους τους άξονες του πλέγματος
for ax in plot_prop_surv_6.axes.flat:
ax.yaxis.set_major_formatter(mtick.PercentFormatter(1.0))
# Προσαρμογή των τίτλων των αξόνων
plot_prop_surv_6.set_axis_labels("", "Proportion of Survivors")
# Προσαρμογή του μεγέθους του διαγράμματος
plot_prop_surv_6.figure.set_size_inches(10, 6)
# Εμφάνιση του διαγράμματος
plt.show()
Η αναλογία επιζώντων στους ενήλικες με οικογένεια είναι υψηλότερη από αυτή των μόνων ενηλίκων σε όλες τις θέσεις εισιτηρίου, ιδίως στη δεύτερη θέση (περίπου 52% έναντι 34%), ενώ στην τρίτη θέση η διαφορά είναι μικρή (περίπου 23% έναντι 20%). Αυτό μπορεί να υποδηλώνει ότι οι ενήλικες που ταξίδευαν με την οικογένειά τους είχαν καλύτερες πιθανότητες επιβίωσης, ίσως επειδή τα μέλη της οικογένειας στήριζαν το ένα το άλλο ή έλαβαν περισσότερη βοήθεια κατά την εκκένωση. Αντίθετα, οι ενήλικες που ταξίδευαν μόνοι ίσως είχαν λιγότερη κοινωνική υποστήριξη, κάτι που μπορεί να επηρέασε αρνητικά τις πιθανότητες επιβίωσής τους.
Συμπεράσματα της μελέτης περίπτωσης
Σε αυτή τη μελέτη περίπτωσης εξετάσαμε την αναλογία επιζώντων στο Titanic, διερευνώντας την αλληλεπίδραση μεταξύ φύλου, ηλικιακών κατηγοριών, θέσης εισιτηρίου και συνοδείας στο ταξίδι.
Πρώτον, χωρίζοντας τους επιβάτες σε ηλικιακές κατηγορίες—παιδιά, έφηβους, ενήλικες και ηλικιωμένους—παρατηρήσαμε ότι η αναλογία επιζώντων διέφερε όχι μόνο ανάλογα με το φύλο αλλά και μεταξύ αυτών των ηλικιακών ομάδων. Ενώ τα παιδιά και των δύο φύλων είχαν παρόμοια, σχετικά υψηλή αναλογία επιζώντων, μεγάλες διαφορές μεταξύ των φύλων εμφανίστηκαν στους ενήλικες και στους εφήβους. Η αναλογία επιζώντων στις γυναίκες ήταν γενικά υψηλότερη από αυτή των ανδρών στις περισσότερες ομάδες.
Στη συνέχεια, η ανάλυση της αναλογίας επιζώντων ανά θέση εισιτηρίου αποκάλυψε μια σαφή θετική σχέση μεταξύ θέσης εισιτηρίου και επιβίωσης: οι επιβάτες των υψηλότερων θέσεων είχαν καλύτερες πιθανότητες επιβίωσης ανεξάρτητα από το φύλο. Ωστόσο, η πτώση της αναλογίας επιζώντων μεταξύ των θέσεων διέφερε μεταξύ ανδρών και γυναικών, υποδηλώνοντας μια σύνθετη αλληλεπίδραση κοινωνικής θέσης και προτεραιότητας στην εκκένωση.
Σημαντικό είναι ότι, όταν εξετάσαμε χωριστά τους ενήλικες και διακρίναμε όσους ταξίδευαν μόνοι από όσους ταξίδευαν με την οικογένειά τους, διαπιστώσαμε ότι οι ενήλικες που συνοδεύονταν από μέλη της οικογένειάς τους είχαν υψηλότερη αναλογία επιζώντων σε όλες τις θέσεις εισιτηρίου, αν και η διαφορά ήταν μικρή στην τρίτη θέση. Αυτό υποδηλώνει ότι η συνοδεία και η κοινωνική υποστήριξη πιθανότατα έπαιξαν κρίσιμο ρόλο στην επιβίωση.
Συνολικά, τα ευρήματα αυτά δείχνουν ότι η επιβίωση επηρεάστηκε όχι μόνο από το φύλο ή τη θέση του εισιτηρίου, αλλά από έναν συνδυασμό ηλικίας, κοινωνικής θέσης και συνθηκών ταξιδιού. Η αισθητά χαμηλότερη αναλογία επιζώντων στους εφήβους μπορεί να αντανακλά το ότι τα άτομα αυτής της ομάδας ταξίδευαν λιγότερο συχνά σε υψηλότερες θέσεις, ένας παράγοντας που μπορεί να επιβάρυνε τον κίνδυνο που αντιμετώπιζαν.
Αυτή η πιο λεπτομερής κατανόηση αναδεικνύει την αξία του να λαμβάνουμε υπόψη πολλούς αλληλεπιδρώντες παράγοντες όταν αναλύουμε μοτίβα επιβίωσης σε καταστάσεις έκτακτης ανάγκης, και υποδηλώνει ότι η περαιτέρω διερεύνηση της κοινωνικής δυναμικής στο Titanic θα μπορούσε να δώσει βαθύτερες γνώσεις.
Το πιο σημαντικό είναι ότι, σε όλη αυτή τη μελέτη περίπτωσης, η οπτικοποίηση δεδομένων αποδείχθηκε απαραίτητο εργαλείο για την εξερεύνηση και την επικοινωνία σύνθετων σχέσεων μέσα στο σύνολο δεδομένων του Titanic. Χρησιμοποιώντας bar plots, διαγράμματα με facets και χρωματική κωδικοποίηση, αποκαλύψαμε και απεικονίσαμε λεπτά μοτίβα επιβίωσης σε πολλούς παράγοντες, όπως η ηλικία, το φύλο, η θέση του εισιτηρίου και η συνοδεία στο ταξίδι. Αυτό ενισχύει την αξία της οπτικής ανάλυσης (visual analytics) στο να γίνονται οι αφηγήσεις που βασίζονται στα δεδομένα πιο προσιτές και πιο διαφωτιστικές, ιδίως όταν δουλεύουμε με πολύπλευρα δεδομένα από τον πραγματικό κόσμο.
Επίλογος
Ελπίζω ότι αυτό το βιβλίο σάς φάνηκε χρήσιμο και ότι αποκτήσατε μια στέρεη κατανόηση των βασικών εννοιών και ροών εργασίας στην επιστήμη δεδομένων και τη μηχανική μάθηση. Ακόμη περισσότερο, ελπίζω να απολαύσατε αυτό το ταξίδι, ακόμη κι αν δεν βλέπετε τον εαυτό σας ως μελλοντικό επιστήμονα δεδομένων.
Τα δεδομένα είναι παντού, και πιστεύω ακράδαντα ότι η επιστήμη δεδομένων είναι κάτι περισσότερο από ένα επάγγελμα: είναι ένας τρόπος λογικής και κριτικής σκέψης. Ειδικά στον επιχειρηματικό κόσμο, η πιο σημαντική δεξιότητα είναι το πώς προσεγγίζουμε ένα πρόβλημα με δομημένο τρόπο και το μετατρέπουμε σε μια λύση που βασίζεται στα δεδομένα. Σε αυτό το σημείο, διαθέτετε ήδη περισσότερα από αρκετά εργαλεία για να το κάνετε.
Να θυμάστε ότι η επιστήμη δεδομένων είναι εξίσου τέχνη όσο και επιστήμη, και απαιτεί τόσο τεχνικές μεθόδους όσο και προσεκτική ερμηνεία. Η πραγματική αξία δεν προέρχεται μόνο από τη δημιουργία μοντέλων, αλλά και από το να θέτουμε τα σωστά ερωτήματα, να κάνουμε εύλογες υποθέσεις και να επικοινωνούμε τα αποτελέσματα με σαφή και ουσιαστικό τρόπο.